Trước khi khởi công xây dựng, vua Mèo Vương Chính Đức đã sang Trung Quốc tìm thầy phong thủy sang Việt Nam đi qua khu vực 4 huyện nằm trong quyền cai quản của mình để chọn địa thế đất. Cuối cùng, Vương Chính Đức và thầy quyết định dừng chân tại thôn Xà Phìn, địa thế đất nằm giữa thung lũng Sà Phìn. Đặc biệt, ở nơi đây có một khối đất nổi lên cao như hình mui con rùa, tượng trưng cho thần kim quy. Nếu xây dựng dinh thự tại đây thì sự nghiệp của Vương Chính Đức sẽ thành về sau.